Rethinking Sales Lead Scoring with LLM-based Hierarchical Preference Ranking
基于LLM的分层偏好排序重新思考销售线索评分
🧭 销售漏斗转化预测 · 学习排序 · 偏好优化 ★ 深度解读
Li Auto Inc.
将稀疏转化标签转化为漏斗层级偏好对，结合LLM语义理解与边际感知Bradley-Terry目标，实现线索的精确排序与校准
📌 工作参考价值（4 点）
- 漏斗层级偏好对构建：借鉴将用户行为序列转化为偏好对（如加购>浏览>点击）的思路，在电商推荐中可利用用户行为深度构造软标签，配合边际参数表达业务知识（如高意向行为给予更大margin），缓解长周期转化中正负样本粗糙的问题。
- 三头LLM判别式架构：语义头（防止遗忘）、点估计头（校准）、排序头（相对序）的联合设计可迁移到Agent多任务场景：在LLM基础上挂接多个预测头，用不同的损失函数同时优化生成、校准和排序能力，配合差异化学习率避免过拟合。
- LLM+LoRA提取文本表示注入传统模型：将LLM编码的对话嵌入注入Wide&Deep、DeepFM等CTR模型，可无痛提升传统模型对非结构化文本的理解，适合已有CTR基建的团队快速引入LLM语义能力，无需推翻原有架构。
- 在线实验设计与评估：分层抽样+按能力层级与历史转化指标分组的A/B测试方案，以及关注前0.1%线索精准度的业务导向指标（P@0.1%），对推荐系统线上评估中如何衡量头部排序质量有直接参考意义。